История создания одной домашней сети и ее техническое описание
Сисадмина спрашивают:
- чтобы ты сделал если бы у тебя был миллион баксов ?
- я бы построил крутую сетку с гигабитными каналами и терабайтными серваками. И администрировал бы ее для души...

Содержание

  • История создания моей домашней сети
  • Вентиляция и охлаждение
  • Описание серверов
  • Сеть
  • Управление сетью
  • Электропитание
  • Вспомогательное оборудование и охрана
  • Ответы на самые популярные вопросы

1. История создания моей домашней сети

Все начиналось с моей домашней коллекции аудио и видео файлов. Постепенно она разрослась до таких неприличных размеров, что жестких дисков основного рабочего компьютера оказалось не достаточно. Удалять что-либо было жалко, а сохранять на CD-R оказалось не совсем неудобно. Во-первых, mp3 файлы у меня регулярно обновляются (например, правлю тэги или заменяю на файлы с лучшим битрэйтом). А во-вторых, получение доступа к файлу на CD занимает утомительно много времени. Даже распространение DVD в качестве дискового носителя ситуацию для меня не улучшило.

Поэтому на первом этапе, несколько лет назад, мне пришлось собрать под эту коллекцию отдельный компьютер, который тогда по праву можно было назвать «файл-сервер». Первый дисковый массив состоял из двух дисков Quantum AS по 60 Гб, подключенных через контроллер Promise FastTrak 66 в режиме RAID 1 (зеркало). Операционная система Windows NT. Попутно с этого компьютера осуществлялся выход в интернет через модем, и потому на него были возложены все традиционные сетевые задачи: DNS, DHCP, прокси-сервер и пр. С основным домашним компьютером сервер был связан через сеть 10 Мбит на витой паре. Как любой «домашний» компьютер, он включался только, когда хотелось послушать музыку, посмотреть кино или «навестить» Интернет.

Шло время, запасы музыки и фильмов росли, места на дисках опять перестало хватать и, чтобы не отставать от прогресса, мне опять пришлось совершенствовать файл-сервер. На этот раз массив состоял из шести дисков WD по 80 Гб в программном RAID5, смонтированным средствами Win 2000 server. Под новый сервер удалось раздобыть Б/У рэковый корпус SVEC FD7130 высотой 4U. К тому времени я уже осознавал, что одним этим сервером дело не ограничится, и планировал в отдаленной перспективе собрать нормальную рэковую стойку. Правда, до сих пор эта мечта не осуществлена. Итак, очередной сервер был установлен дома, на застекленном балконе и, в отличие от предыдущего, был запущен на круглосуточную работу. Коллега подарил старый UPS APC smart 600 с убитыми батареями. Вместо них я подключил два полуживых АКБ по 96 ампер/часов от дизельного Мерседеса, и теперь сервер был надежно защищен от диверсий пьяных электриков, которые регулярно отключают свет в доме от нескольких секунд до нескольких часов. Заодно от этой UPS был запитан свич CNet на 100 мбит, радиотелефон Panasonic, АОН и квартирная система видеонаблюдения, которая уже восемь лет показывает мне все, что происходит за входной дверью. Через некоторое время место на сервере опять закончилось и пришлось снова наращивать массив. Потом не стало места для установки новых дисков и пришлось менять корпус. И так по кругу...

Переломным периодом в моем кустарном «серверотворении» стало известие, что до моего дома добралась районная компьютерная сеть «Юнионлайн». Поскольку моя основная работа тесно связана с сетью Интернет, и он мне нужен не для развлечения, то я, не раздумывая, сразу подключился к их сети. К тому времени дисковый массив моего файл-сервера составлял уже 800 Гб, и выяснилось, что у меня одна из самых больших в районе частных коллекций фильмов и музыки, да еще с круглосуточным свободным доступом. Здесь следует отметить, что суммарно эта районная домовая сеть охватывает весь север Москвы (она состоит из нескольких отдельных сетей связанных между собой межсетевыми линками). Мне не жалко было предоставить содержимое моей коллекции для публичного доступа. Однако моя супруга (которая между прочим сама любила послушать музыку с сервера и посмотреть фильмы) заявила, что ей надоел вечный шум от стоящего на балконе сервера и поставила классическое условие: «или я или он» :-)). Расставаться ни с тем, ни с другим я не планировал, поэтому пришлось искать новое место для создания «серверной». И оно было найдено!

Наша районная локальная сеть имеет полный комплект разрешительных документов и лицензий для свой деятельности, а также договора с префектурой на размещение сетевого оборудования на чердаках домов. Да еще нам попалось компьютерно-образованное руководство местного РЭУ, которое с пониманием относилось к нашим (моим) проблемам. Таким образом, выступая под прикрытием местной локальной сети, я получил добро на организацию серверного помещения на чердаке своего дома в своем же подъезде. А дальше началось сплошное творчество и «рукоприкладство». Руководство сети пообещало мне выделить железный ящик под сервер. Но выяснилось, что этот ящик по габаритным размерам не проходит через люк, ведущий на чердак. Да и конструкция его меня не устраивала. Поэтому я решил делать ящик сам, полностью отвечающий моим требованиям. Из стальных трехмиллиметровых листов и 35-мм уголка я сварил каркас. Приварил сейфовые петли, внутренние скобы и распорки для защиты от спиливания, установил пару сейфовых замков. Через несколько дней колдовства в гараже серверный шкаф был готов. Итоговая себестоимость всех материалов для ящика на тот момент составила около 80$.

А вот дальше начались обломы. В самый последний момент выяснилось, что ящик немного не влезает в лифт, и мне с двумя помощниками его пришлось поднимать на руках по лестнице на 10-й этаж. А ведь даже со снятой дверцей его вес составил около 130 кг! В чердачный люк он прошел успешно, но дальше меня ждала очередная моя проектная ошибка. Через чердачный люк он пролезал только лежа, а чтобы теперь поставить в нормальное рабочее положение, нужно сначала поставить его на ребро. Вот тут-то и выяснилось, что наименьшая диагональ ящика на 60 мм превышает высоту потолка на чердаке. Выхода было два: или распиливать ящик, для чего его пришлось бы опять спускать вниз и везти в гараж; либо «расширять» чердак. При всей своей комичности это оказалось единственно верное решение. Я немного подпилил болгаркой ребра плит перекрытия и выдолбил канавку в керамзитобетонном полу чердака. В результате буквально «выжал» нужные миллиметры и ящик встал на положенное ему место. А следы разрушений чердака я забетонировал. Так что за сохранность ящика я теперь спокоен – без разрушения чердака его не вынесут :-) Кстати, к кирпичной стене ящик прикручен могучими анкерными болтами и фактически он висит над полом.

Общий вид серверного ящика на фоне чердака

Учитывая гигантские темпы расширения моей коллекции, я проектировал ящик на размещение в нем сразу нескольких серверов. Оптимальной мне виделась конструкция под четыре сервера: два основных файл-сервера, шлюзовой сервер для связи с внешним миром и вспомогательный (он же бэкапный). Ориентировочная полезная нагрузка - до 100 кг. В результате получился ящик с габаритными размерами 1100 мм (высота), 900 мм (ширина), 800 мм (глубина). Верхнее отделение высотой 600 мм, нижнее 500 мм. Полка из ДСП пропитанного негорючим раствором. Точных чертежей ящика не существует, так как при его создании я «импровизировал». Но если будет свободное время, то попробую нарисовать чертежи. Дверца ящика изнутри защищена скобами, предохраняющими ящик от вскрытия при спиливании петель. Замки сейфовые, на массивных 5-мм кронштейнах.

Общий внутренний вид серверного ящика

2. Вентиляция и охлаждение

При проектировании серверного ящика, я уделял особое внимание охлаждению оборудования, которое будет в нем установлено. От идеи с полноценным кондиционированием ящика пришлось сразу отказаться по причине дороговизны. Потом была задумка приспособить компрессор от старого холодильника, так чтобы весь ящик представлял собой полный аналог холодильника. Этот вариант оказался неоправданно трудоемким, и я остановился на классической схеме проточной вентиляции. Смысл ее представлен на чертеже:

Общая схема охлаждения серверного ящика (вид слева, сбоку)

Вдоль задней части боковых стенок ящика, с обеих сторон, выпилены по два отверстия и напротив них, изнутри, установлены компьютерные вентиляторы 120 мм, 12 В, 0.36 А.

Размещение выдувных вентиляторов (вид справа, сбоку)

Снаружи отверстия заделаны металлическими решетками с нейлоновыми сетками (чтобы насекомые не пролезли внутрь). Изнутри к вентиляторам также прикреплены защитные решетки, чтобы в крыльчатку случайно не попали кабели. Вытяжные вентиляторы работают круглый год. Для холодного времени года этого охлаждения достаточно (ведь зимой на чердаке около нуля градусов). А вот в самый жаркий летний период дополнительно включаю приточную вентиляцию. В этом случае относительно холодный воздух с улицы через армированный рукав диаметром 150 мм мощным вентилятором подается через отверстие в нижней передней части ящика:

Воздухозабор с улицы

Ввод в серверный ящик

Положение внутренней решетки приточной вентиляции спроектировано таким образом, что холодный воздух с улицы поступает в нижнюю часть ящика, вертикально равномерно распределяется по передней стенке между нижней и верхней секциями, а прошедший через все охлаждаемые устройства уже горячий воздух выдувается через заднюю часть боковых стенок, упомянутыми выше вытяжными вентиляторами. Разумеется, на всех этапах стоят решетки и сетчатые фильтры. Кстати практика показала, что в летнее время входные фильтры очень забиваются каким-то пухом (не только тополиным) и требуют, как минимум, еженедельной чистки. Иначе доступ холодного воздуха сильно снижается. Приточный вентилятор питается от 220 В и его паспортная производительность - 450 л/час.

И самое главное! В результате такой организации вентиляции в самое жаркое летнее время температура выдуваемого из ящика воздуха при полностью нагруженных серверах не превышает 37 градусов. То есть фактически равна летней уличной температуре. Это если не идеальные, но вполне достаточные условия существования серверов в ограниченном закрытом пространстве. Температура процессоров не превышает 50 градусов, а жестких дисков в массивах – не более 35 градусов.

Для контроля температуры внутри ящика, вокруг него, а заодно и на улице, я использую семь датчиков DS 18S20. Адаптер MicroLan (шина 1-ware) самодельный, он основан на преобразователе уровней max232a в типовом включении и развязке TX и RX на транзисторе BS107A. Единственная доработка стандартной схемы – добавлена индикация сигналов TX и RX на двухцветном светодиоде. В основном индикация нужна на этапе отладки.

Данные с термометров собираются программой Temp Keeper 2.3.6, которая рисует графики и пишет логи:

К сожалению, в этой программе кроме подачи звукового сигнала, никаких других действий при превышении температуры не предусмотрено, поэтому дальше логи анализируются моей самописной программой, и она уже отправляет предупреждения на e-mail.

3. Описание серверов

Теперь пришла пора детально изучить содержимое серверного ящика:

В верхнем отсеке ящика размещены два основных файловых сервера: на 1 и 2 Тб. Малый сервер (справа) забит музыкой и прочим добром, большой (слева) выделен исключительно под фильмы.

Оба сервера собраны в корпусах AOpen H800 с дублированными блоками питания Delta RPS-600A (2 х 337W HOT-SWAP redundant):

Малый сервер содержит 8 IDE дисков Maxtor по 120 Гб в массиве RAID5. Каждый диск установлен в «мобил-рэк» с четырьмя кулерами. Для создания аппаратного RAID5 массива использован контроллер ESCALADE 3ware 7506-8. Процессор P4-1500 на маме ASUS P4T-533C с 512 Мб RIMM. Сетевая карта D-Link DGE-530T. Операционка – Win 2003 server.

В большом сервере 12 IDE дисков WD по 200 Гб в массиве RAID5. Здесь диски установлены в четыре фирменные корзины AOpen. Каждая корзина рассчитана на размещение трех дисков. В передней части корзин вентиляторы 80 мм с тахометром. Для создания RAID5 массива использован контроллер ESCALADE 3ware 7506-12. Процессор Celeron 2400 на маме ASUS P4P800 delux с 512 Мб DDR DIMM. Сетевая карта интегрированная 3COM 3C940. Операционка – Win 2003 server. Хочу обратить внимание, что дисковые RAID контроллеры имеют шину PCI64, но в моем случае установлены в обычные материнские платы шиной PCI32. Разумеется, пропускная способность шины и итоговая производительность дискового массива будет вдвое, но позволить себе материнские платы с шиной PCI64 я пока не могу. И еще один интересный момент: 12 дисков по 200 гигабайт в случае RAID5 дают суммарный полезный объем массива 2049,41 Гб. Однако на практике выяснилось, что максимальный размер тома в файловой системе NTFS-5 не может превышать 2 Тб, а мой массив оказался больше. Поэтому один из дисков я отвел под горячий резерв, который позволяет реализовать RAID контроллер. В результате полезная емкость массива составила всего 1863,10 Гб.

Для контроля температуры и вентиляторов в большом сервере установлен восьмиканальный модуль TS Thermal@Control 88M.

Этот модуль контролирует температуру 8 термодатчиков, управляет 8 вентиляторами, а заодно контролирует напряжения от БП +5 В и +12 В. Наиболее полно его возможности реализуются, если термодатчики установлены на тех узлах, которые охлаждают соответствующие вентиляторы. В этом случае вентиляторы могут быть настроены на автоматическое включение при превышении пороговой температуры. Собственно именно так у меня и настроено. Единственный, но серьезный недостаток устройства – он абсолютно автономный и никак не связан с программными средствами компьютера, поэтому невозможно снимать с него показания удаленно.

В нижнем отсеке размещены еще два сервера. Они оба в рэковых корпусах, но не потому что «так надо», а потому что такие корпуса мне когда-то удалось раздобыть и они удачно вписываются в конструкцию ящика.

Верхний сервер, который когда-то у меня был первым и единственным теперь считается «бэкапным». В нем сейчас 4 диска Maxtor по 80 гигов на контроллере Promise Fasttrak 100 TX4. Моя политика бэкапа подразумевает временное автоматическое резервирование тех файлов со всех серверов, которые еще не архивированы на CD или DVD. Также на отдельном диске этого сервера складываются бэкапы системных разделов при ежедневном и еженедельном копировании. К сожалению, системные диски я устанавливаю по остаточному принципу и получается, что они умирают гораздо чаще, чем диски из массива. И здесь выручает правильно настроенный бэкап. Мамка этого сервера ASUS P3B-F, проц P2-450, память 256 Мб PC100, сетевая карта D-Link DGE-530T.

Нижний сервер выполняет роль шлюза между моей подсеткой, локальной районной сетью и интернетом. На сервере под Win 2003 server web edition крутится WinGate, пара FTP серверов (WarFTPd, Serv-U), Apache, MySQL, PHP, VPN, форум и прочие инетовские дела. Кстати, на этом сервере есть еще место для шести дисков, которое я оставил «на черный день», т.е. когда забьются все остальные массивы. Материнская плата ASUS NRL-LS с интегрированным видеоадаптером и гигабитной сетью, 512 Мб ECC памяти, второй сетевой адаптер D-Link DGE-550T, третий Intel PRO/100.

Более подробно о программных средствах серверов и структуре моей сети читайте в следующей главе.

Продолжение статьи на следующей странице.

Михаил А. (home@btv.ru .)
Опубликовано — 4 января 2005 г.


История создания одной домашней сети и ее техническое описание (Продолжение)

История создания одной домашней сети и ее техническое описание

Содержание

  • История создания моей домашней сети
  • Вентиляция и охлаждение
  • Описание серверов
  • Сеть
  • Управление сетью
  • Электропитание
  • Вспомогательное оборудование и охрана
  • Ответы на самые популярные вопросы

4. Сеть

Перед описанием моего сегмента сети, вкратце расскажу об общей структуре сети моего провайдера. На первом этапе строительства сеть тянулась по крышам домов кабелем П-296. На чердаках в металлических антивандальных ящиках установлены коммутаторы Cnet. Внутри дома к абонентам разводка идет неэкранированной витой парой пятой категории. Все сегменты через роутеры сведены в единую точку. Сюда же приходят линки от других сетей из соседних районов. То есть вырисовывается самая типичная домовая сеть с присущими ей достоинствами и слабыми местами.

С достоинствами выделенной линии и так все понятно, поэтому подробней остановлюсь на недостатках. Наиболее уязвимое место – линки между домами, которые, как известно, боятся гроз и статики. Еще одно слабое место – электропитание коммутаторов. Нередки случаи, когда после перебоев в электроснабжении, они либо зависали, либо работали некорректно. И как результат при любых проблемах с многочисленными линками, коммутаторами и роутерами целые сегменты сети остаются без связи.

И пропускная способность такой сети оставляет желать лучшего. Например, домовой коммутатор к которому подключена моя подсеть обслуживает еще несколько последующих домов и школу. А ведь до меня сеть уже нагружена! В результате в моменты пиковой нагрузки на сеть у меня суммарная исходящая скорость падает до 20 кбайт/сек, тогда, как в нормальное время бывает в пике до 9 мбайт/сек. Разумеется, в таких условиях смотреть фильмы непосредственно с сервера не представляется возможным. Поэтому сейчас мой провайдер активными темпами переводит магистрали на оптику. Отдельный линк предусмотрен между его центральным коммутатором и моей сетью. Уже сейчас кабель ОКГ-0.22-4 (Саранск-Кабель) заведен в мой серверный ящик и подключен к преобразователю Planet GT-702S.

После того как я кратко обрисовал окружающую обстановку вернемся к моему сегменту сети. Общая схема сетевых соединений представлена ниже:

Здесь желтой рамкой обведено содержимое моего серверного ящика. Синими линиями обозначены гигабитные линки на витой паре. Красные – 100 Мбит. Зеленая – будущая оптика. Все соединения внутри моего серверного ящика сводятся через неуправляемый восьмипортовый гигабитный коммутатор D-Link DGS-1008TL, который закреплен в верхней части ящика:

Первоначально на его месте был обычный восьмипортовый коммутатор Eline на 100 Мбит. Но с ростом объемов серверов, исходящим наружу трафиком, бэкапом и личными нуждами старый свич оказался загружен на все 100%, и пришлось его отправить на заслуженный отдых. Теперь средняя скорость перегона больших файлов составляет 40-70 Мбайт/сек, и ограничена только производительностью самих дисковых массивов на шине PCI 32.

Четыре порта коммутатора заняты серверами в ящике, остальные четыре спускаются с чердака в квартиру. Пара из них занята домашними компьютерами, остальные зарезервированы на будущее. Также вместе с этими линками в квартиру приходит один кабель от коммутатора провайдера (показан красным). На время отладки моей сети этот кабель позволяет посмотреть как видится моя сеть «из вне». Все кабели идущие от серверного ящика к квартирной патч-панели экранированные, категории 5e. Внутри квартиры и внутри серверного ящика разводка выполнена неэкранированным гибким кабелем пятой категории. Практика показала, что на этих кабелях гигабитная сеть успешно живет и проблем из-за кабеля не наблюдается.

Основным связующим звеном с внешним миром является шлюзовой сервер. В нем три сетевых адаптера: один соединяет шлюз с моей локальной сетью, другой зарезервирован под оптику, а третий идет к коммутатору провайдера. На последнем настроено четыре IP адреса из локальной сети провайдера. Один используется для моих потребительских нужд, на остальных трех сидят однотипные сервисы. Например, FTP и WWW серверы под разные проекты. Гораздо удобнее разнести однотипные сервисы на разные IP, чем объяснять клиентам что у того же FTP может быть нестандартный порт.

В качестве FTP сервера у меня прижился старый добрый WarFTPd версии 1,82. Может для кого-то он покажется антикварным, но, во-первых, это единственный ftp-сервер который нормально работает с расшаренными сетевыми дисками, а во-вторых, у меня для него давно написаны программулины для разбора и анализа логов. Так что каждое утро на завтрак я получаю с него полную статистику за прошедшие сутки. Также на одном из IP висит Serv-U версии 5,009. Не спорю, что ftp-сервер он хороший, но заставить его работать с сетевыми дисками я не смог: пробовал и виртуальные пути, и через линки с указанием прав доступа. Так что он у меня остался только для работы с локальным диском сервера. Вообще FTP протокол у меня основное средство для раздачи содержимого моей коллекции пользователям. Во-первых, через FTP легко и удобно разграничивать права доступа, а во-вторых, легко контролировать.

Но для совершенно далеких от сетевых технологий пользователей доступ возможен по http. Для раздачи по протоколу http, на сервере используется стандартный виндусовый IIS. С ним никаких существенных проблем нет, правда, долго мучился, подключая PHP. Когда-то был установлен Apache, но после переустановки системы я понял, что без него пока можно обойтись.

Кстати, еще немного о локальной сети и о глобальной. Основное назначение моей сети – это раздача файлов для других пользователей локальных сетей района. Но помимо этого, один из моих локальных IP адресов через маскарадинг переадресуется на реальный IP. То есть фактически моя сеть имеет полноценный выход в Интернет и обратный доступ – из Интернет в локальную сеть. Последнее мне необходимо для контроля сети «извне» – например, с работы.

5. Управление сетью

В обычном режиме доступ к «рабочим столам» серверов из квартиры осуществляется по сети через Remote Administrator 2.2. Но когда хочется залезть в BIOS сервера или посмотреть синий «экран смерти» Windows, здесь Radmin уже бесполезен. На такие случаи у меня есть другое решение. В серверном ящике все устройства сведены на электронный четырехканальный KVM свич Planet KVM-400. А к нему подключен KVM extender ATEN CE-220. Передающая часть этого устройства преобразует сигналы от клавиатуры, мыши и монитора (KVM) в цифровой поток, который передается по обычной экранированной витой паре категории 5 (но это не Ethernet сигнал, поэтому в свич его включать нельзя!). Максимальная дальность удаления приемника от передатчика может быть до 150 метров, у меня же она не превышает 40 метров, и никакого ухудшения изображения при этом не наблюдается.

Передающий блок KVM extender ATEN CE-220

Приемная часть установлена дома и осуществляет обратное преобразование в традиционную KVM раскладку. Причем к приемному блоку KVM extender'а клавиатура, мышь и монитор подключаются еще через один свич, теперь уже механический. Этот двухпозиционный KVM свич переключает между удаленным управлением серверами и локальной рабочей станцией, с которой осуществляется мониторинг сети.

Помимо этого у меня реализовано и сейчас проходит отладку еще одно средство контроля серверов и управления ими. В каждом сервере установлена дополнительная простенькая плата, которая через транзисторные ключи и оптронные развязки собирает данные об активности Power, HDD и RAID HDD светодиодов. А также там стоит по паре герконовых слаботочных реле (на reset и power). Сигналы от этих плат сведены на отдельный блок в серверном ящике, который через мультиплексоры последовательно опрашивает все светодиоды и отсылает данные в квартиру. Там они обратно преобразуются и через параллельный регистр выводятся на светодиоды. В результате по этим светодиодам я могу судить об активности и состоянии серверов.

А также в последовательном виде с передающей части этого устройства данные поступают на LPT порт шлюзового компьютера. Благодаря этому я могу видеть активность светодиодов даже по сети. Но есть и обратный канал связи. На домашней панели управления размещены кнопки для удаленной перезагрузки, включения/выключения каждого сервера. Включения системы пожаротушения, вентиляции и некоторых других охранных функций. По обратному каналу с таким же временным разделением эти команды поступают в серверный ящик. Также все эти команды доступны и через LPT порт. Связь между блоками четырехпроводная (прием, передача, синхронизация и общий) с гальванической оптронной развязкой. Данная конструкция сейчас на этапе отладки, четкой окончательной схемы не существует, поэтому приводить ее здесь я пока не буду. Отмечу лишь, что электронная часть ее реализована на микросхемах старой доброй 555-й серии.

И все же основное управление сетью осуществляется с домашнего компьютера на платформе ASUS Pundit, который имеет вот такое нетрадиционное расположение:

Дело в том, что дома есть малолетний ребенок, у которого страсть к компьютерам, видимо, уже заложена в генах. Но по причине его малого возраста, он пока отстранен от администрирования сети. А лишить админских прав удалось, только подвесив все узлы домашнего компьютера на недоступной для него высоте:

Кстати, клавиатура и мышь беспроводные, и их приходится прятать повыше при каждом приближении маленького домашнего «вредителя» :-) А совсем недавно я обнаружил, что он забирается на табуретку, затем залезает на стол и выключает монитор! Теперь приходится прятать от него и табуретки.

Вот типичный рабочий экран этого компьютера:

Верхнюю часть занимает консоль мониторинга FTP сервера, а внизу всегда висит график температуры на улице. Датчик DS 18S20 вынесен на улицу и подключен в COM порт через самодельный адаптер MicroLan.

Как и все сервера, этот домашний компьютер также питается от UPS и включен круглосуточно, так как выполняет множество функций:

  • на нем живет почта, ICQ и прочие прелести Интернет;
  • через него контролируется процесс скачивания по FTP;
  • через KVM extender есть прямой доступ к консолям всех серверов;
  • через USB адаптер Bluetake BT007X организована точка беспроводного доступа;
  • между процессорным блоком и монитором подключен внешний TV тюнер AverMedia TV BOX3 и легким движением руки монитор превращается в полноценный телевизор, из-за чего у нас с супругой иногда происходят творческие разногласия :-)

Но есть ещё одно немаловажное предназначение этого компьютера: хотя доступ на мой серверный чердак ограничен решетками и железными дверями с внушительными замками, можно предположить, что посторонних там не может быть. Однако для большей надежности и самоуспокоения, мною были предприняты дополнительные меры безопасности. Сам серверный чердак, все подходы к нему, а также входная дверь в квартиру просматриваются видеокамерами. Изображение с четырех камер поступает в этот компьютер, где оцифровывается специализированной платой Grand X Guard и пишется на диск. Записанное изображение, возможно, просматривать как с локального компьютера, так и удаленно по сети. Зоны детектирования движения настраиваются. Имеются обширные настройки звуковых уведомлений о наличии движения в охраняемой зоне. А я еще дополнил программу посылкой сообщений на e-mail и sms.

В результате реализации всех описанных в этой статье средств, я имею постоянный полный контроль над сетью из любой точки, где есть Интернет или мобильная связь.

6. Электропитание

Электропитание моего серверного ящика учитывает особенности электроснабжения дома, в котором я проживаю. Отключение электроснабжения у нас не редкость. Регулярно, каждые несколько дней, происходят кратковременные пропадания напряжения на доли секунды, но иногда отключают и на несколько часов. Нередко отключают свет только по отдельным подъездам. Для того чтобы минимизировать простои серверов из-за перебоев в электроснабжения, я реализовал следующую идею: в ящик заводится две разные фазы из двух соседних подъездов. Одна фаза считается основной, другая резервной. Пока на основной фазе есть напряжение, силовое реле включено и его выход коммутируется на основную фазу. При пропадании напряжения реле обесточивается и его выход подключается к резервной фазе. Упрощенная схема представлена ниже.

На время перекоммутации фаз и при тотальных отключениях обеих фаз, оборудование резервируется через UPS PowerMan RealSmart 1500. Контроль UPS осуществляется программой Upsilon 2000, которая запущена на шлюзовом сервере. Программа настроена так, что через пять минут после пропадания напряжения на входе UPS всем серверам (кроме шлюзового и мониторного компьютера) рассылается команда на выключение. Шлюзовой сервер и все вспомогательное оборудование работает до полного истощения батарей. Это необходимо для возможности контроля оборудования «до последней минуты».

Описанный выше коммутатор фаз и вся силовая разводка смонтированы в отдельном закрытом электрощитке:

Обе фазы, подводящие электропитание к ящику, выполнены проводом ПВС 3х2,5. Т.е. реализован примерно трехкратный запас по току. Все электрические кабели за пределами ящика по чердаку протянуты в пластиковой гофре. Внутри ящика основные кабели имеют сечение 2.5 мм , остальные малонагруженные – 1.5 мм . Для коммутации фаз использовано реле РП21-003.УХЛ4. По паспорту оно способно коммутировать ток до 5 А при 220 В на индуктивной нагрузке, что для моих нужд недостаточно. Но, изучив конструкцию реле, я пришел к выводу, что можно увеличить коммутируемый им ток за счет увеличения сечения гибкого центрального контакта, путем напаивания дополнительного проводника сечением 1.5 кв.мм. А контактная группа по внешнему виду и моему субъективному мнению способны выдержать длительное время ток более 20А.

К сожалению, на практике при создании сети происходило не все так гладко, как кажется при прочтении этой оптимистической статьи. Например, были проблемы с местным населением. Дело в том, что по согласованию с РЭУ электропитание сетевого оборудования берётся из электрощитка последнего жилого этажа. По настоянию местного электронадзора в щитке пришлось установить дополнительный автомат на 16 А, и только после него кабель идет в серверную. На кабеле, в соответствии с требованиями электриков, имеются все опознавательные наклейки. Так вот одна «бабка – одинокий божий одуванчик», которой принадлежит электрощиток, повадилась отключать этот автомат. Аргументы у нее были такие:

  • Из-за меня у нее счетчик теперь больше накручивает (хотя, разумеется, отвод берется до ее электрического счетчика);
  • Из-за этого «антернета» тиливизер сам включается и выключается и мало сериалов показывает;
  • Я по ночам хожу по жестяной крыше ее балкона и кричу птичьими голосами;
  • Из-за меня у нее крыша протекает;
  • И вообще ходют тут всякие террористы...

Против таких железных аргументов возражать было бесполезно, и мне пришлось менять местами фазы электроснабжения, а затяжная война с соседкой пока продолжается.

Другая проблема заключается в том, что уже сейчас UPS нагружен в среднем на 85% и есть опасения, что в моменты пиковой нагрузки в нем может сработать защита от перегрузки, и тогда отключится все! Выход я вижу один – приобретение дополнительного UPS. (Ау, спонсоры, откликнитесь!) Сейчас я присматриваюсь к UPS N-Power Smart-Vision S1500LT. Во-первых, эта модель типа long time. Она не имеет встроенных аккумуляторов и ориентирована на подключение внешних, емкостью до 150 а/ч. На первое время я планирую подключить к ней три старых автомобильных АКБ по 55 а/ч. А во-вторых, у нее для контроля используется такое же ПО Upsilon 2000, что мне удобно для удаленного мониторинга по сети.

Конечно, в существующий серверный ящик такой UPS, да еще три автомобильных АКБ уже никак не поместятся, и я планирую под электроснабжение сварить отдельный новый ящик и перенести в него все электроснабжение моей сети. Распределены UPS будут так: два файловых сервера и резервный останутся на старом UPS, а все остальное будет питаться от нового. В результате автономность наиболее жизненно важных элементов моей сети может увеличиться до нескольких часов (а то и десятков часов, в случае установки новых АКБ на 150 а/ч!). Только необходимо учитывать, что автомобильные кислотные АКБ при заряде выделяют водород и мне придется мудрить отдельную дополнительную вентиляцию для этого ящика, а также средства автономного пожаротушения. Для равномерного распределения нагрузки на подводящие шины, я хочу модернизировать существующую схему на реле и реализовать перекрестное подключение. В этом случае, каждый UPS в нормальном режиме будет подключен через своё реле к своей шине питания. А при пропадании напряжения будет переключаться на противоположную.

7. Вспомогательное оборудование и охрана

Для питания низковольтного вспомогательного оборудования в ящике установлен отдельный компьютерный БП ATX на 300 Вт, который также сидит на UPS. Этот БП включен постоянно, для чего его зеленый провод (управляющий) подключен на массу. В основном от БП мне нужно два напряжения: +12В (вентиляторы, KVM переключатель и KVM extender и пр.) и +5В (консоль удаленного управления серверами, термодатчики). Наиболее жизненно важные потребители, сидящие на питании +12 В (охрана и пожаротушение), дополнительно резервируются с помощью АКБ 12 В, 7.2 а/ч, подключенную через диодную развязку.

На каждую группу потребителей основных питающих напряжений установлена индивидуальная транзисторная защита, что исключает КЗ, если злоумышленник, например, попробует перерезать кабели питания видеокамер.

Для самоуспокоения и успокоения пожарного надзора, в серверном ящике установлен автономный огнетушитель «Допинг 2Т». Он предназначен для тушения возгораний в закрытых электрошкафах объемом до 2 куб. метров, у меня же объем около 1 куб. метра. Огнетушитель может запускаться как самостоятельно через свой термочувствительный хвост, так и через подачу управляющего напряжения 12В с консоли удаленного управления. Для этого случая управление огнетушителем организовано так, что при подаче команды на его срабатывание отключается вся вентиляция и обесточиваются все сервера. Отключение вентиляции, в первую очередь приточной, необходимо, чтобы свежий воздух не поддерживал горение.

Разумеется, такое количество ценного серверного оборудования нельзя было оставлять на чердаке жилого дома, не предприняв особых мер по обеспечению его сохранности. Весь комплекс охранных мер я разделил на два направления: механическая защита (пассивные средства) и электронная защита (активные). На одну лишь электронную охрану полагаться было нельзя, так как ее эффективность напрямую зависит от стабильного и бесперебойного электроснабжения.

Первым делом, на обоих входах на чердак я заменил деревянные полусгнившие люки на стальные, с внутренними сейфовыми замками. Затем укрепил арматурные решетки, ограничивающие доступ из жилой части дома к крыше. А дальше занялся более привычной мне электроникой. Установил на всех дверях и люках герконовые датчики. На самом чердаке поставил инфракрасный датчик движения, совмещенный с включением освещения чердака. Очень удобно, когда залезаешь на чердак с занятыми руками, а свет сам приветливо включается.

Самые большие мои надежды были связаны с системой видеонаблюдения. Оба входа на чердак у меня просматриваются малогабаритными видеокамерами SK-2005 CAS. Непосредственно сам серверный ящик находится под прицелом камеры Sony CV-10А (старое название SPC-10E). Камера с объективом Avenir (автодиафрагма, фокусное расстояние 3.6 мм, крепление С) помещена в термобокс LS-260 (производитель САРОВ-ИНТЕХ), который поддерживает оптимальную температуру для камеры. Ведь зимой на чердаке бывает минусовая температура. Сигналы со всех перечисленных камер по коаксиальному кабелю РК75-4 поступают в серверный ящик на коммутационную панель:

Через эту панель осуществляется питание мини-камер и усиление сигнала для подачи его в квартиру. Для мини-камер я спаял магистральные усилители видеосигнала на основе конструкторов-усилителей, которые предлагает «Мастер-Кит». Усилители необходимы для компенсации затухания на длинных линиях и коррекции АЧХ видеосигнала. Питание +12В на большую часть охранных средств поступает от упомянутого выше вспомогательного БП и резервируется с помощью АКБ. Большая камера обладает фантомным питанием, и ее электропитание осуществляется непосредственно из квартиры. Напряжение +12В ей нужно только для питания термобокса. Также в этом комплексе имеется еще одна видеокамера, которая контролирует вход в квартиру. Сигналы со всех камер поступают в квартиру на другую коммутационную панель. В ней осуществляется расщепление сигнала и согласование по нагрузке для дальнейшей подачи на несколько потребителей. Основными приемниками видеосигналов являются монитор Commax CCM-10Р с коммутатором-мультиплексором на четыре входа и плата для оцифровки видеоизображения Grand X Guard. Подробнее эта плата описана здесь.

8. Ответы на самые популярные вопросы

После публикации первого варианта статьи, меня завалили вопросами. Не всегда умными и не всегда тактичными. Но все же много было актуальных вопросов, касающихся проектирования и практической эксплуатации этой сети. Попробую прямо здесь ответить на некоторые из них.

Это все твое? Сколько это все вместе стоит? Все мое! Собрано в течение многих лет на личные заначки от зарплаты и прочие нетрудовые доходы. А также пожертвования некоторых дружественных компаний.

Зачем это надо было делать? Обладая немалым опытом проектирования подобных систем (но только значительно более «взрослого» класса), я решил попробовать осуществить это самостоятельно, в домашних условиях и с минимальным бюджетом.

В какой сети все это используется и где именно стоит? Хотя я считаю, что все мое оборудование надежно защищено от недоброжелателей, но все же, по соображениям безопасности, нигде не упоминаю точной информации о его размещении, а также где и как отключается охрана. Провайдер «Юнион-Лайн».

Какой марки и модели использовался Автоматический Переключатель Фаз? Марки «обычное реле», модели РП21-003.УХЛ4, но с усиленными контактными группами. Усиливать переключающие контакты пришлось потому, что они по паспорту рассчитаны на максимальный ток 5А. Хотя сами контактные группы по внешнему виду и моему субъективному мнению способны выдержать длительное время ток более 20А. Таким образом, я только увеличил сечение центрального проводника до 2.5 кв.мм

Какой использован софт для записи охранного видеоизображения? Для записи видео, ведения архивов записей, анализа движения и прочих сервисов используется родной софт платы Grand X Guard версии 3.0 от шестнадцатиканальной платы. Кстати, даже четырехканальная плата легко наращивается до 16, так как на плате все элементы уже распаяны. Остается только добавить разъемы и вывести их наружу. Драйвера для всех плат тоже одинаковые. Софт тоже совместим. Правда за полгода его эксплуатации я обнаружил несколько недостатков и удовольствием бы высказал разработчикам этого софта свои пожелания. Но только они не реагируют на мои письма.

Какие именно есть недостатки у этой платы? Недостатки скорее у софта, а не у платы. Например, система распознавания движения, при оптимально настроенной чувствительности, реагирует на любые значительные изменения яркости изображения. Это вызывает ложные срабатывания, например, при вспышках грозы или резком изменении общей освещенности (когда солнце выходит из-за туч). Другая серьезная проблема связана с тем, что программа постоянно держит текущие видеофайлы открытыми. При внезапном завершении работы компьютера (например, через «синий экран») файл остается с пустым заголовком и обычными средствами не открывается, хотя сам видеопоток сохраняется. Чип BT878 позволяет оцифровывать видеосигнал с разрешением 720х576. Но программно разрешение ограничено до 320х288.

Почему RAID контроллеры 3ware с шиной PCI 64 работают на мамках с шиной PCI 32? Учите матчасть! Практически любые платы с шиной PCI 64 можно устанавливать в обычные мамки с шиной PCI 32. Разумеется, при этом производительность будет ниже, но мне и этого пока хватает.

Вместо заключения

На этом описание текущего состояния моей домашней сети завершается. Однако ее развитие постоянно продолжается. По мере совершенствования сети я буду обновлять некоторые разделы описания. Возможно, выложу чертежи ящика и некоторые свои уникальные схемы. Самые последние новости о создании этой сети вы всегда можете прочитать здесь: http://www.btv.ru/homenet/

Михаил А. (home@btv.ru .)
Опубликовано — 5 января 2005 г.